Neural Spectral Capacity: Measuring and Designing Architectures from Network Specification Alone
神经谱容量：仅凭网络结构规范测量与设计架构
🧭 训练无关容量度量与架构设计剪枝
Department of Computer Science, City University of Hong Kong
提出基于权重矩阵奇异值谱的闭式容量指标 NSC，无需实例化/数据/梯度即可评估架构，并给出全局最优 DP 求解器
📌 工作参考价值（4 点）
- 在电商/广告/生成式推荐模型做结构选型时，可用 NSC 作为零成本过滤指标，在训练前快速比较同预算下不同 depth-width、FFN ratio、attention head、MoE expert 分配，替代小规模消融或昂贵搜索。
- 对 LLM 类召回/排序/Agent 策略模型做结构化剪枝或部署压缩时，NSC-DP 可在 CPU 秒级返回给定参数/延迟预算下全局最优的层与组件保留方案，无需 calibration data，比现有 training-free proxy 快约 5900 倍。
- 利用 NSC 的 layer-wise additive 性质，可在多域/多任务推荐模型或异构 MoE 中按塔、按 expert 精细核算容量，指导预算在 tower、shared bottom、task head 间分配。
- 注意 NSC 依赖随机初始化下的 Marchenko-Pastur 假设，适合做候选架构过滤和初始化分配；最终上线前仍需在业务数据上微调验证，避免把排名绝对化。